Sau chuyến khi tới Braunschweig được hai tuần, Caroline đi qua Thụy Sĩ để đến Ý. Trên đường đi, bà đã thuê Bartolomeo Pergami làm đầy tớ.[62] Pergami sớm trở thành quản gia của Caroline và sắp xếp cho chị gái của ông, Angelica, Bà Bá tước xứ Oldi, trở thành Thị tùng của Caroline.[63] Vào giữa năm 1815, Caroline đã mua một dinh thự bên bờ hồ Como, Villa d'Este.[64]

Từ đầu năm 1816, Caroline và Pergami đi thuyền vòng quanh Địa Trung Hải, họ đến thăm cung điện cũ của Napoleon ở Elba, và ở Sicily, Pergami được nhận Huân chương Malta và lãnh địa của một Nam tước.[65] Trong thời gian này, Caroline và Pergami thường cùng nhau xuất hiện công khai và có nhiều lời đồn cho rằng hai người là tình nhân.[66] Cả hai du ngoạn đến Tunis, Malta, Milos, Athens, Corinth, Constantinople và Nazareth. Tại Jerusalem, Caroline thử cưỡi trên lưng một con lừa được hộ tống bởi một đoàn lạc đà.[67] Pergami được nhận Huân chương Hiệp sĩ Jerusalem. Caroline sáng lập ra Huân chương St. Caroline, đề cử Pergami hạng Kiện tướng.[68] Họ trở về Ý vào tháng 8 và dừng chân tại Rome để đến thăm Giáo hoàng.[69]

Thời điểm này, tin đồn về Caroline xuất hiện ở khắp nơi. Lord Byron đã viết cho nhà xuất bản của ông rằng Caroline và Pergami là tình nhân,[70] Sir Francis Ronalds đã mô tả và soạn một vở hài kịch về cách họ ngủ khi ở Karlsruhe.[71][72] Nam tước Friedrich Ompteda, một điệp viên người Hannover, đã mua chuộc một trong những đầy tớ của Caroline để ông ta khám xét phòng ngủ của Caroline nhằm tìm ra bằng chứng ngoại tình. Người đầy tớ đó không tìm thấy bất cứ thứ gì.[73] Đến tháng 8 năm 1817, các khoản nợ của Caroline ngày càng lớn, bà bán Villa d'Este và chuyển đến Villa Caprile nhỏ hơn gần Pesaro. Mẹ, anh trai và con gái của Pergami, trừ người vợ, đã đến sống cùng với Caroline.[74]

Một năm trước đó, con gái của Caroline, Vương tôn nữ Charlotte, đã kết hôn với Công tử Leopold xứ Saxe-Coburg-Saalfeld, tương lai của chế độ quân chủ Anh có vẻ tươi sáng. Bi kịch ập đến vào tháng 11 năm 1817, Charlotte qua đời sau khi sinh đứa con duy nhất, một bé trai chết non. Charlotte hầu như rất được lòng dân chúng và cái chết của bà là một cú sốc với cả Vương quốc.[75] George từ chối viết thư cho Caroline để thông báo về cái chết của con gái, ông giao việc đó cho con rể Leopold, nhưng Leopold khi đó đang đau buồn và đã trì hoãn việc viết thư. George đã viết thư cho Giáo hoàng nhằm thông báo về bi kịch và Caroline đã tình cờ nghe được tin tức khủng khiếp khi người đưa thư đi ngang qua Pesaro.[76] Caroline mất đi đứa con gái, cũng là mất đi tất cả hy vọng lấy lại vị thế khi con gái lên ngôi.[77]

George quyết tâm ly hôn với Caroline, ông lập một Hội đồng do Phó Chưởng ấn John Leach chủ trì nhằm thu thập bằng chứng ngoại tình của Caroline. Leach đã gửi ba thành viên đến Milan để thẩm vấn những đầy tớ cũ của Caroline, gồm Theodore Majocchi và Louise Demont.[78] Tại London, Brougham vẫn đóng vai trò là người đại diện của Caroline. Lo ngại rằng "Hội đồng Milan" có thể là một mối nguy với Caroline, ông gửi anh trai James đến biệt thự của Caroline với hy vọng xác minh liệu George có bất cứ căn cứ nào để ly hôn hay không. James đã viết thư cho em trai về Caroline và Pergami: "Vẻ ngoài của họ như thể hai vợ chồng vậy, chưa từng có điều gì rõ ràng đến thế."[79][80]

Hội đồng Milan đã thu thập được ngày càng nhiều bằng chứng và đến năm 1819, Caroline bắt đầu lo lắng. Bà thông báo với James Brougham rằng bà sẽ chấp thuận ly hôn để đổi lấy tiền.[81] Tuy nhiên, tại thời điểm lúc bấy giờ ở Anh, việc ly hôn với sự chấp thuận từ hai bên vẫn là bất hợp pháp bởi hai vợ chồng chỉ có thể ly hôn nếu vợ hoặc chồng thừa nhận hoặc bị kết tội ngoại tình. Caroline nói rằng bà "không thể" thừa nhận điều đó, Broughams khuyên bà rằng chỉ còn cách ly thân mang tính hình thức là hợp lý.[82] Cả hai phía đều muốn tránh công khai, phía Brougham và chính phủ đã thương lượng một thỏa thuận, theo đó Caroline sẽ được gọi bằng một tước vị nhỏ hơn, chẳng hạn như "Bà Công tước xứ Cornwall" chứ không phải "Vương phi xứ Wales".[82] Khi các cuộc đàm phán tiếp tục vào cuối năm 1819, Caroline đã đến Pháp, điều này làm dấy lên suy đoán rằng bà đang trên đường trở về Anh. Tuy nhiên, vào tháng 1 năm 1820, bà đã lên kế hoạch trở về Ý, nhưng sau đó vào ngày 29 tháng 1 năm 1820, Quốc vương George III băng hà, chồng của Caroline trở thành tân vương, tức George IV, và ít nhất trên danh nghĩa, bà chính là Vương hậu của Anh Quốc.[83]